EKS入門者向けに「今こそ振り返るEKSの基礎」というタイトルで登壇しました #jawsug_ct

EKS初心者の方向けに、EKS周辺のAWSリソースがどのように関連して動作しているのかをステップバイステップでEKSCTLが担っている役割を中心に説明しました。

#イベントレポート

#Kubernetes

#コンテナ

#Amazon EKS

#AWS

濱田孝治

2020.01.27

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

先日、「EKS祭り」をテーマにJAWS-UGコンテナ支部 #16を開催しました。

JAWS-UGコンテナ支部 #16〜EKS on Fargateローンチ記念！EKS祭りだワッショイ - connpass

EKS縛りというだいぶ濃いイベントの中で、自分はトップバッターで「今こそ振り返るEKSの基礎」と第して喋ってきたのでその内容をまとめます。基礎といえども普段隠れがちなEKSに関連するAWSリソースについてフォーカスを当てたある意味マニアックな内容だと思うので、EKS気になる方は是非ご覧ください。

（祭） ∧ ∧
　Y　 ( ﾟДﾟ)
　Φ[_ｿ__ｙ_l〉     EKS ﾀﾉｼｲﾖ ｺﾚﾏｼﾞﾃﾞ
　　　 |_|＿|
　　　 し'´Ｊ

この記事の主旨

この記事では登壇当日に口頭で補足した部分や、各種資料へのアクセスをリンクにしてまとめています。スライドだけをみるよりこちらの記事のほうが情報量が多く内容としてもまとまっているため、この記事をベースに見ていただければと思います。

登壇概要：「今こそ振り返るEKSの基礎」

皆さん、EKS始めるときeksctl使ってますか？コマンド一発でAWS関連リソースやインフラ一式できあがる超便利ツールですが、逆に個別のAWSリソースがどのように作成されているか、クラスターに紐づくVPCやNodeにはどのような制約があるのか、IAM周辺がどのように処理されているのか、そのあたり隠蔽されて分かりづらい部分あるんじゃないでしょうか。

このセッションでは、改めてEKS周辺のAWSリソースがどのように関連して動作しているのかを振り返りつつ、今日のEKS祭りのためのベース知識を皆さんと共有できればと思います。

EKSの基礎とは？

まず一番最初にみなさんとEKSの基礎という単語について共有させてください。EKSはざっくりいうとkubernetesのAWSマネージド・サービスですが、EKS=kubernetesではありません。じゃ、EKSの基礎とは何でしょうか？

ここで、自分がKubernetesを始めようと思ったときの流れを紹介します。こんな流れでした。

kubernetes触りたい
どこでやろ。やっぱり慣れてるからAWSつかうか
eksctl。便利。マジで神！
kubectl applyでコンテナできたで！環境できたのでkubernetes本の内容試してみるで！
kubernetesおもろいやん！ﾜｯｼｮｲﾜｯｼｮｲ

こんなイメージです。

でも、よくよく考えてみてください。eksctlって何やってると思います？

eksctl、みなさんご存知でしょうか。AWS公式のeksクラスター構築コマンドラインツールです。現在はWeaveworks社がホストしています。eksctlの公式ページはこちら。マニュアルなども一式あります。

Introduction | eksctl

eksctlの強力さを一番現しているコマンドがこちら。

$ eksctl create cluster

これにより、以下のAWSリソースが作成され、さらにkubeconfigまで自動的に更新されます。

EKS ControlPlane
VPC, InternetGateway, route table, subnet, EIP, NAT Gateway, security group
IAM Role, Policynode group, Worker node（EC2）
〜/.kube/config

これだけのコマンドが、コマンド一発で即kubernetesの世界に足を踏み入れることができるんですね。ただ、これはこれで不安点はあります。

例えばこの状態で、EKS運用ででてくる以下のシチュエーションに対応できるでしょうか？

クラスターのアップデート、実際どないしよ
クラスター触れる人を増やしたい
既存のクラスターVPCに別のクラスターを接続させたい
ノードグループを複数VPCに展開したい
NAT Gateway高いからInternetGatewayだけにしたい
コントロールプレーンとワーカーノードを別AWSアカウントで管理したい
2AZのVPCを3AZに拡張したい。もちろんノードも使いたい

はい、わからんですよね。ので、今日の趣旨はこちらです。こちらを皆さんに共有していければと思います。

EKSの開始方法は２種類

公式ドキュメントにAmazon EKS の開始方法があるんですが、開始方法は大きく2つあります。

1は非常に簡単なのですが、今回はeksctlが実際に何をやっているのかを理解することが目的なので、「2 マネジメントコンソールの開始方法」を読みながら、ステップバイステップでポチポチと各AWSリソースを作ることをイメージしながら、解説していきます。

手順は大きく分けて5つ。

Amazon EKSサービスロール作成
EKSクラスターVPCの作成
EKSクラスターの作成
kubeconfigの設定
マネージド型ノードグループの起動

これから、各手順のポイントを説明していきます。ぜひ、お手元で実際にAWS マネジメントコンソールの開始方法を動かしながら、理解を深めてもらえればと思います。

①Amazon EKS サービスロールの作成

一番最初にEKSクラスターが他のAWSリソースに対してアクセスするためのロールを作成する必要があります。必須のAWSマネージドポリシーは2つ。

AmazonEKSServicePolicy

EKSがKubernetesクラスタを作成〜運用するためのポリシー
例）クラスターログの転送（logs:PutLogEvents）
例）VPCに作成するENI（ec2:CreateNetworkInterface）

AmazonEKSClusterPolicy

KubernetesクラスタのコントロールプレーンがAWSリソースを操作するためのポリシー
例）autoscaling,ec2,elasticloadbalancing

両方とも同じロール内に適用するので、それぞれのポリシーの違いを意識することはあまりないですが、EKSというサービスとkubernetesクラスターをごっちゃにしないためにも、ここの違いを意識しておくことは重要です。イメージとしてはこんな感じです。

下記公式ドキュメントに、それぞれのポリシーの詳細が記載されているので、合わせて参照ください。

公式ドキュメント：Amazon EKS サービス IAM ロール - Amazon EKS

また、toriさんによるtwitterリプ合戦も参考になりますYO！

AmazonEKSClusterPolicy
AmazonEKSServicePolicy

これの違いがよーわからん。雰囲気勝負か。

— 濱田孝治（ハマコー） (@hamako9999) January 22, 2020

②EKSクラスターVPCの作成

EKSクラスターの作成前に、事前にクラスターで利用するVPCを作成しておく必要があります。EKS CreateCluster APIの必須パラメータは下記3つ。VPCの情報が必要ですね。

name：クラスターの名前
role-arn：サービスロールのARN
resources-vpc-config：クラスターが利用するVPCの情報

というわけで、クラスターVPCを作成する必要があるのですが、このEKSクラスターで利用するVPCにはEKS用の要件が必要です。

公式ドキュメント：クラスター VPC に関する考慮事項

この中に全て詳細に定義されているのですが、簡単に必要となる要件をまとめます。これが全て必須ではないですが、代表的なパターンです。

2つ以上のAZ
パブリックサブネット：インターネットフェーシングのロードバランサーなどの設置
プライベートサブネット：ワーカーノード用
- アウトバウンドインターネットアクセスが必要→NAT Gateway
VPC IP アドレス指定
VPCのタグ付要件
サブネットのタグ付要件
内部ロードバランサー用のプライベートサブネットタグ付け要件
外部ロードバランサー用のパブリックサブネットタグ付け要件

特にハマリポイントなのが、VPCの各種リソースに設定が必須なタグがあることです。これらのタグは、クラスターVPC作成用のCloudFormationを利用したときに勝手に付与されたりしますが、自分でVPCを作ったりあとからサブネットやAZを拡張したときにハマリポイントとなるので注意が必要です。

実際にVPCを作成するときには、公式のCloudFormationが提供されているので、構造が要件にあっていればそれを使うのも良いでしょう。

③EKSクラスターの作成

いよいよ、実際のEKSクラスターの作成です。ここは、マネジメントコンソールから指定するのがわかりやすいです。主な作成時のパラメーターは以下の通り。

必須
- Cluster name
- Kubernetes version
- Role：前で作成したEKSのサービスロール
- VPC：前で作成したクラスターVPC
- Subnets：上で指定したVPCのサブネットが全て表示されているので選択
非必須
- Endpoint private access
- Endpoint Public access
- ログ記録

これにより、以下が実行されます。

作成されるセキュリティグループにも要件があります。基本的に上記手順によりEKSが自動的に必要なセキュリティグループを作成してくれますが、ネットワーク構成を変更したりクラスター管理しないリソース追加時に混乱しないように、以下のドキュメントも目を通しておくと良いです。

公式ドキュメント：Amazon EKS セキュリティグループの考慮事項 - Amazon EKS

EKSコントロールプレーンとVPCの関係

上記手順により、VPCとEKSコントロールプレーンが紐づくのですが、コントロールプレーンとVPCの関係は複数パターンあるので、それを整理するとこうなります。ｌ

真ん中の複数コントロールプレーンから同一のVPCに接続するパターンですが、VPCの中にRDBがいる状態で、クラスターのバージョンアップをB/G方式で実行するときなどに使います。

④kubeconfigの設定

kubeconfigファイルとは、kubernetesを扱うためのCLIであるkubectlコマンドの接続先クラスターを管理する設定ファイルです。これが設定されていないと、先ほど作ったEKSクラスターに接続できません。

ただ、それを一瞬でやってくれるコマンドが存在します。

$ aws eks update-kubeconfig –name cluster-name

これにより、kubeconfigファイルにコンテキストが追加され、また認証情報取得用のコマンドも設定されます。本当に便利です。これ。

- context:
    cluster: arn:aws:eks:ap-northeast-1:629895769338:cluster/test-fargate
    user: arn:aws:eks:ap-northeast-1:629895769338:cluster/test-fargate
  name: arn:aws:eks:ap-northeast-1:629895769338:cluster/test-fargate
current-context: arn:aws:eks:ap-northeast-1:629895769338:cluster/handson-eks-cluster
kind: Config
preferences: {}
users:
- name: arn:aws:eks:ap-northeast-1:629895769338:cluster/test-fargate
  user:
    exec:
      apiVersion: client.authentication.k8s.io/v1alpha1
      args:
      - --region
      - ap-northeast-1
      - eks
      - get-token
      - --cluster-name
      - test-fargate
      command: aws
      env: null

これにより、ようやくkubectlコマンドでクラスターに接続できます。

$ kubectl get service
NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.100.0.1   <none>        443/TCP   10h

ただ、まだワーカーノード（EC2）はありません。

$ kubectl get nodes
No resources found.

⑤マネージド型ノードグループの起動

ワーカーノード用IAMロールの作成

いよいよ最後の手順、コンテナを動かすためのワーカーノード（EC2）を作っていきます。予めワーカーノードに設定するIAMロールを作成しておきます。このIAMロールには以下のポリシーが含まれます。

AmazonEC2ContainerRegistryReadOnly
- ECR参照用
AmazonEKSWorkerNodePolicy
- ワーカーノードからのEKSクラスターアクセス用
AmazonEKS_CNI_Policy
- VPC CNI Plugin用ポリシー
- ワーカーノードによるネットワーク設定変更用

この3つ目、CNIプラグインですが、ワーカーノードのVPC IPアドレスをポッドのIPアドレスに割り当てるための機構です。このプラグインによりAWSのネットワークとkubernetesのネットワークが紐づくわけです。あまり意識することは無いかもですが、裏でこのプラグインが動いているということは頭の片隅にいれておいてください。

公式マニュアル：ポッドネットワーキング (CNI) - Amazon EKS

マネージド型ノードグループの起動

これも、2019年11月のアップデートで非常に簡単になりました。Webコンソール上からポチポチすれば、ワーカーノードがグループとしてクラスターに認識され起動します。主なパラメータは以下の通り。

IAMロール
ワーカーノード展開対象のサブネット
リモートアクセス可否
コンピューティング構成設定（AMIタイプ、インスタンスタイプ、ディスクサイズ）
スケーリングポリシー

しばらく待って、ノードグループがACTIVEになったら、kubectl get nodeを叩いてみましょう。無事、ノードが認識されたら、めくるめくkubernetesの世界にたどり着いた証です！

$ kubectl get node
NAME                                                 STATUS    ROLES     AGE       VERSION
ip-192-168-148-252.ap-northeast-1.compute.internal   Ready     <none>    6m        v1.14.7-eks-1861c5
ip-192-168-213-27.ap-northeast-1.compute.internal    Ready     <none>    6m        v1.14.7-eks-1861c5